@MastersThesis{Hoffmann:2006:ApReAd,
author = "Hoffmann, Leandro Toss",
title = "Aprendizagem por refor{\c{c}}o na adapta{\c{c}}{\~a}o a
obst{\'a}culos em navega{\c{c}}{\~a}o rob{\'o}tica
aut{\^o}noma n{\~a}o-estruturada baseada em imagens",
school = "Instituto Nacional de Pesquisas Espaciais (INPE)",
year = "2006",
address = "S{\~a}o Jos{\'e} dos Campos",
month = "2006-02-23",
keywords = "intelig{\^e}ncia artificial, aprendizagem de m{\'a}quina,
vis{\~a}o computacional, navega{\c{c}}{\~a}o aut{\^o}noma,
rob{\'o}tica, redes neurais, articial inteligence, machine
learning, computer vision, autonomous navigation, robotics, neural
nets.",
abstract = "Nas {\'u}ltimas d{\'e}cadas, a rob{\'o}tica tem desempenhado um
papel importante na sociedade, com participa{\c{c}}{\~a}o de
destaque na ind{\'u}stria de manufatura de bens. Mais
recentemente, aplica{\c{c}}{\~o}es de rob{\^o}s m{\'o}veis,
desde simples brinquedos at{\'e} a explora{\c{c}}{\~a}o de
outros planetas, tem demonstrado o qu{\~a}o promissor o uso
dessas ferramentas ser{\'a} num futuro pr{\'o}ximo. Contudo,
atualmente o custo e a complexidade de constru{\c{c}}{\~a}o de
rob{\^o}s m{\'o}veis, que sejam suficientemente
flex{\'{\i}}veis e ao mesmo tempo {\'u}teis, tem sido uma
barreira para sua ampla dissemina{\c{c}}{\~a}o. Neste sentido,
t{\'e}cnicas de Intelig{\^e}ncia Artificial vem sendo
frequentemente estudadas, a fim de dotar os sistemas
rob{\'o}ticos com capacidades de aprendizado,
adapta{\c{c}}{\~a}o e autonomia. Este trabalho apresenta um
estudo de aprendizagem de m{\'a}quina, aplicado a
navega{\c{c}}{\~a}o aut{\^o}noma em rob{\'o}tica m{\'o}vel. O
objetivo principal {\'e} avaliar o desempenho de t{\'e}cnicas de
aprendizagem por refor{\c{c}}o, no uso de rob{\^o}s m{\'o}veis
de baixo custo e baixa precis{\~a}o, equipados com sensores de
vis{\~a}o computacional. Para tanto, um rob{\^o} foi modelado
{\`a} luz de uma arquitetura de agente de aprendizagem, para
atrav{\'e}s de imagens obtidas por uma c{\^a}mera Charge-Coupled
Device (CCD), ser capaz de aprender a navegar de forma
aut{\^o}noma, em ambientes internos n{\~a}o-estruturados. Os
operadores de vis{\~a}o computacional s{\~a}o
constru{\'{\i}}dos com Redes Neurais Artificiais e algoritmos de
rotula{\c{c}}{\~a}o de imagem, que identificam objetos
diferenciados por suas caracter{\'{\i}}sticas
radiom{\'e}tricas. As posi{\c{c}}{\~o}es relativas dos objetos
na imagem s{\~a}o utilizadas para definir o estado do agente, que
atrav{\'e}s da experimenta{\c{c}}{\~a}o de a{\c{c}}{\~o}es,
aprende a otimizar o seu processo de tomada de decis{\~a}o. A
implementa{\c{c}}{\~a}o da arquitetura do agente de aprendizagem
{\'e} suportada pelo prot{\'o}tipo de sistema Cool Autonomous
Navigation Enterprise with Learning Agents (Canela), que
viabilizou principalmente a conex{\~a}o de sensores CCDs e a
condu{\c{c}}{\~a}o dos experimentos. Duas modelagens com
aprendizado por refor{\c{c}}o foram desenvolvidas, utilizando o
algoritmo Q-learning, sendo o intuito da primeira prover uma
navega{\c{c}}{\~a}o simples, evitando-se obst{\'a}culos e da
segunda a explora{\c{c}}{\~a}o homog{\^e}nea do ambiente. Uma
s{\'e}rie de ensaios foram realizados em um ambiente real, para
validar a primeira modelagem. Os resultados obtidos demonstraram a
capacidade de aprendizagem do agente, que navegou por um ambiente
inicialmente desconhecido. Com a segunda modelagem, validada em
experimentos de simula{\c{c}}{\~a}o, foi poss{\'{\i}}vel
avaliar o bom desempenho de um sistema de navega{\c{c}}{\~a}o
mais complexo, orientado a multi-objetivos. Os resultados
encorajam o uso da modelagem de sistemas de navega{\c{c}}{\~a}o
de rob{\^o}s m{\'o}veis, baseados em t{\'e}cnicas de
aprendizado por refor{\c{c}}o, proporcionando uma alternativa
interessante aos m{\'e}todos de programa{\c{c}}{\~a}o
tradicionais. ABSTRACT: In the last decades, robotic has become an
important role for society, specially in the manufacturing
industry. In recent times, applications of mobile robots, from
simple toys to planets explorations, has shown how promising will
be the use of these tools in a close future. Though, the cost and
complexity in developing mobile robots nowadays, which should be
suciently flexible and still helpful, has been a diculty for its
broad deployment. Hence, Artificial Intelligence techniques has
been studied frequently, aiming for introducing a learnable,
flexible, and autonomous behavior to robotic systems. This work
presents a machine learning study, applied to autonomous
navigation in mobile robotic. The main goal is to analyze
reinforcement learning techniques performance, when using low cost
and low accuracy mobile robots, with on-board computer vision
sensors. Thus, a robot was modeled as a learning agent
architecture, which is able to learn to navigate autonomously in
indoor non-structured environments, using images taken by a
Charge-Coupled Device (CCD) camera. Computer vision operators are
made with Artificial Neural Networks and image labeling
algorithms, to recognize objects by its spectral features.
Relative positions from images objects are used to define the
agent state, which experiments actions, and learn to optimize its
decision making process. The learning agent architecture
implementation is supported by a prototype system, called Cool
Autonomous Navigation Enterprise with Learning Agents (Canela),
which holds the CCDs sensors connections and manages the
experiments. Using the Q-learning algorithm, two reinforcement
learning based models were developed. The first model aims to
build a simple obstacle avoidance navigation system, and the
second an environments homogeneous exploration navigation system.
To evaluate the first model, a series of experiments were
conducted in a real environment. The results has shown agents
learning capabilities on obstacle avoidance and navigation in an
unknown environment. The second model was evaluated by simulation
experiments whose brought good results on applying a more complex
and multi-goal oriented navigation system. The results encourage
to use reinforcement learning based models in mobile robots
navigation systems, bringing an interesting choice to traditional
programming methods.",
committee = "Guimar{\~a}es, Lamartine Nogueira Frutuoso (presidente) and
Silva, Jos{\'e} Demisio Sim{\~o}es da (orientador) and Santos,
Rafael Duarte Coelho dos and Os{\'o}rio, Fernando Santos",
copyholder = "SID/SCD",
englishtitle = "Reinforcement learning for obstable avoidance in image based
robotic autonomous non-structured navigation",
language = "pt",
pages = "212",
ibi = "6qtX3pFwXQZGivnJSY/L3zRv",
url = "http://urlib.net/ibi/6qtX3pFwXQZGivnJSY/L3zRv",
urlaccessdate = "02 maio 2024"
}